Evaluating Large Language Models in Dynamic Clinical Decision-Making with Standardized Patient Cases
基于标准化病人案例的动态临床决策大语言模型评估
🧭 临床代理动态交互评估基准
Shanghai Jiao Tong University · Shanghai Artificial Intelligence Laboratory
提出 MedSP1000 交互式基准，用标准化病人闭环仿真评估 LLM 临床代理能力，暴露静态基准无法捕获的失败模式
📌 工作参考价值（4 点）
- 在电商 Agent 评估中，可借鉴标准化用户脚本构建闭环仿真环境，让 Agent 与用户代理、环境控制器持续交互，用预先定义的评分细则评估每一步决策，而非仅看最终结果。
- 过程级评价比单轮静态测试更能暴露 Agent 在信息收集不充分、规划缺失、状态适应等方面的失败模式，适合用于对话式推荐、客服 Agent 等场景的离线评测。
- 用领域专家审核的脚本和评分标准（类似医学教学案例的书面评分细则）来构造评估数据，保证评测的客观性和可复现性，这比人工主观判断更可靠。
- 实验发现增加测试时计算（如链式推理）对 Agent 性能提升有限，提示在推荐/对话 Agent 中，单纯堆叠推理步数可能不是最优解，需从训练数据或架构上增强长期规划和状态跟踪能力。